អ្វីដែល 300GB នៃការស្រាវជ្រាវ AI បានបង្ហាញអំពីតម្រូវការពិតប្រាកដនៃការសាកល្បង "Zero-Shot"

អ្នកនិពន្ធ : (1) Vishaal Udandarao, Tubingen AI Center, សាកលវិទ្យាល័យ Tubingen, សាកលវិទ្យាល័យ Cambridge, និងការផ្គត់ផ្គង់ដូចគ្នា; (2) Ameya Prabhu, Tubingen AI Center, សាកលវិទ្យាល័យ Tubingen, សាកលវិទ្យាល័យ Oxford, និងការផ្គត់ផ្គង់ដូចគ្នា; (3) Adhiraj Ghosh, Tubingen AI Center, សាកលវិទ្យាល័យ Tubingen; (4) Yash Sharma, Tubingen AI Center, សាកលវិទ្យាល័យ Tubingen; (5) លោក Philip H.S. Torr សាកលវិទ្យាល័យ Oxford ។ (6) Adel Bibi, សាកលវិទ្យាល័យ Oxford ។ (7) លោក Samuel Albanie, សាកលវិទ្យាល័យ Cambridge និងការផ្តល់សេវាកម្មដូចគ្នានេះបានកំណត់ដោយការដោះស្រាយគណនី; (8) លោក Matthias Bethge, Tubingen AI Center, សាកលវិទ្យាល័យ Tubingen និងការផ្តល់សេវាកម្មដូចគ្នានេះបានកំណត់ដោយការផ្លាស់ប្តូរគណនី។ Authors: (1) Vishaal Udandarao, Tubingen AI Center, សាកលវិទ្យាល័យ Tubingen, សាកលវិទ្យាល័យ Cambridge, និងការផ្គត់ផ្គង់ដូចគ្នា; (2) Ameya Prabhu, Tubingen AI Center, សាកលវិទ្យាល័យ Tubingen, សាកលវិទ្យាល័យ Oxford, និងការផ្គត់ផ្គង់ដូចគ្នា; (3) Adhiraj Ghosh, Tubingen AI Center, សាកលវិទ្យាល័យ Tubingen; (4) Yash Sharma, Tubingen AI Center, សាកលវិទ្យាល័យ Tubingen; (5) លោក Philip H.S. Torr សាកលវិទ្យាល័យ Oxford ។ (6) Adel Bibi, សាកលវិទ្យាល័យ Oxford ។ (7) លោក Samuel Albanie, សាកលវិទ្យាល័យ Cambridge និងការផ្តល់សេវាកម្មដូចគ្នានេះបានកំណត់ដោយការដោះស្រាយគណនី; (8) លោក Matthias Bethge, Tubingen AI Center, សាកលវិទ្យាល័យ Tubingen និងការផ្តល់សេវាកម្មដូចគ្នានេះបានកំណត់ដោយការផ្លាស់ប្តូរគណនី។ កុំព្យូទ័រ លក្ខណៈពិសេស 1: Introduction 2 គំនិតនៅក្នុងការបណ្តុះបណ្តាលទិន្នន័យនិងការកំណត់ទំហំ 3 ការប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀបប្រៀបធៀប 3.2 លទ្ធផល: ការបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តាល 4 ការធ្វើតេស្តសម្ពាធនៃការកម្រិតកម្រិតកម្រិតកម្រិតគំនិតនិងការត្រួតពិនិត្យ 4.1 សម្រាប់គំរូដូចគ្នានេះនៅក្នុងទិន្នន័យ pre-training និង downstream 4.2 ការធ្វើតេស្តបង្កើនប្រសិទ្ធិភាពទៅនឹងគំនិតនិងការផ្លាស់ប្តូរទិន្នន័យប្រសិនបើមានប្រសិទ្ធិភាព 5 យោបល់បន្ថែមពី Frequencies Pretraining គំនិត 6 ការធ្វើតេស្តនៃការកាត់បន្ថយ: Let It Wag! 7 សកម្មភាពដែលមានន័យ 8 គោលបំណងនិងបញ្ហាសម្រាប់បញ្ហាសម្រាប់បញ្ហាសម្រាប់បញ្ហាសម្រាប់បញ្ហាសម្រាប់បញ្ហាសម្រាប់ Part I Appendix A. Frequency is predictive of performance across prompting strategies (ប្រសិនបើប្រសិនបើប្រសិនបើប្រសិនបើប្រសិនបើប្រសិនបើប្រសិនបើប្រសិនបើប្រសិនបើប្រសិនបើប្រសិនបើប្រសិនបើប្រសិនបើប្រសិនបើប្រសិនបើប្រសិនបើប្រសិនបើប្រសិនបើប្រសិនបើប្រសិនបើប្រសិនបើប្រសិនបើប្រសិនបើប្រសិនបើប្រសិនបើប្រសិនបើប្រសិនបើ) B. គំនិតទំហំគឺជាការអនុម័តនៃការធ្វើឱ្យប្រសើរឡើងតាមរយៈគំនិតទាញយក C. គំនិតទំហំគឺជាការអនុម័តនៃការអនុវត្តសម្រាប់ម៉ូដែល T2I D. Frequency is predictive of performance across concepts only from image and text domains ។ E. លក្ខណៈពិសេសពិសោធន៍ ហេតុអ្វីនិងរបៀបដែលយើងប្រើ RAM + +? G. លក្ខណៈពិសេសអំពីលទ្ធផលគោលដៅគោលដៅ H. T2I ម៉ូដែល: ការពិនិត្យឡើងវិញ លទ្ធផលនៃការកំណត់: Let It Wag! សៀវភៅ ទិន្នន័យកំណត់រចនាសម្រាប់ការរចនាសម្រាប់ការរចនាសម្រាប់ការរចនាសម្រាប់ការរចនាសម្រាប់រចនាសម្រាប់រចនាសម្រាប់រចនាសម្រាប់រចនាសម្រាប់រចនាសម្រាប់រចនាសម្រាប់រចនាសម្រាប់រចនាសម្រាប់រចនាសម្រាប់រចនាសម្រាប់រចនាសម្រាប់រចនាសម្រាប់រចនាសម្រាប់រចនាសម្រាប់រចនាសម្រាប់រចនាសម្រាប់រចនាសម្រាប់រចនាសម្រាប់រចនាសម្រាប់រចនាសម្រាប់រចនាសម្រាប់រចនាសម្រាប់រចនាសម្រាប់រចនាសម្រាប់រចនាសម្រាប់រចនាសម្រាប់ នេះគឺសម្រាប់ម៉ូឌុលជាច្រើនដូចគ្នានេះដោយសារតែវាមិនដឹងថាតើទិន្នន័យបណ្តុះបណ្តាលដំបូងរបស់ពួកគេរួមបញ្ចូលគ្នានៃគំនិតខាងក្រោមដែលមានគោលបំណងក្នុងរយៈពេលការត្រួតពិនិត្យ “zero-shot” ។ នៅក្នុងការងារនេះយើងគួរ: ការទូទាត់ តើការអនុវត្តនៃម៉ូដែលរចនាសម្ព័ន្ធរចនាសម្ព័ន្ធជាច្រើននៅលើគំនិតបន្ទាប់ពីនេះត្រូវបានផ្លាស់ប្តូរដោយទំហំនៃគំនិតទាំងនេះនៅក្នុងទិន្នន័យរចនាសម្ព័ន្ធដំបូងរបស់ពួកគេ? យើងមានការស្រាវជ្រាវយ៉ាងទូលំទូលំទូលាយអំពីសំណួរនេះនៅលើ 34 ម៉ូដែលនិងប្រព័ន្ធទិន្នន័យ pre-training ស្ដង់ដារ (CC-3M, CC-12M, YFCC-15M, LAION-400M, LAION-Aesthetics) ដែលធ្វើឱ្យប្រសើរឡើងជាង 300GB នៃទិន្នន័យ។ យើងបានរកឃើញយ៉ាងទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទ ការស្រាវជ្រាវរបស់យើងបានបង្ហាញនូវការតម្រូវការបច្ចេកទេសសម្រាប់ទិន្នន័យបណ្តុះបណ្តាលដែលអនុញ្ញាតឱ្យគោលបំណងសម្រាប់សមត្ថភាពបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តាល។ សូមអរគុណ! 1 ដំណឹង ម៉ូដែលធម្មជាតិដូចជា CLIP [91] និង Stable Diffusion [96] បានបង្កើតប្រសិទ្ធិភាពច្នៃប្រឌិតនៅលើការធ្វើតេស្តបន្ទាប់ពីការធ្វើតេស្ត - CLIP ឥឡូវនេះគឺជាស្តង់ដារបច្ចុប្បន្នសម្រាប់ការទទួលស្គាល់រូបភាព "ច្នៃប្រឌិតច្នៃប្រឌិត" [133, 72, 126, 48, 132] និងការទទួលស្គាល់រូបភាព [46, 64, 24, 117, 129], ខណៈពេលដែល Stable Diffusion ឥឡូវនេះគឺជាស្តង់ដារបច្ចុប្បន្នសម្រាប់ការធ្វើតេស្ត "ច្នៃប្រឌិតច្នៃប្រឌិតច្នៃប្រឌិតច្នៃប្រឌិតច្នៃប្រឌិតច្នៃប្រឌិត" (T2I) [93, 17, 96, 41] ។ មានម៉ូដែលជាច្រើនដែលមានបច្ចុប្បន្ននេះពិតជាមានសមត្ថភាពដើម្បីបង្កើនប្រសិទ្ធិភាពនៃការប្រមូល “zero-shot”? ដើម្បីដោះស្រាយបញ្ហានេះយើងបានធ្វើដំណើរការវិភាគប្រៀបធៀបដែលរួមបញ្ចូលទាំងពីរគោលដៅសំខាន់: (1) ការអនុវត្តរបស់ម៉ូដែលនៅលើការងារផ្សេងគ្នានិង (2) ការប្រៀបធៀបនៃគំនិតការធ្វើតេស្តក្នុងកំណត់ទិន្នន័យមុនពេលបណ្តុះបណ្តាលរបស់ពួកគេ។ យើងបានរៀបធៀបគណនីមួយចំនួន 4,029 នៃគំនិត[1] ពីការប្រៀបធៀប 27 នៃគំនិតបន្ទាប់ពីការប្រៀបធៀបការប្រៀបធៀបការប្រៀបធៀបការប្រៀបធៀបការប្រៀបធៀបការប្រៀបធៀបការប្រៀបធៀបការប្រៀបធៀបការប្រៀបធៀបការប្រៀបធៀបការប្រៀបធៀបការប្រៀបធៀបការប្រៀបធៀបការប្រៀបធៀបការប្រៀបធៀបការប្រៀបធៀប យើងបានរកឃើញថាមានដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដំណោះស្រាយដ ម៉ូដែលធ្វើឱ្យប្រសើរឡើងតាមរយៈការកើនឡើងតាមរយៈការកើនឡើងតាមរយៈការកើនឡើងតាមរយៈទំហំគំនិតនៅក្នុងទិន្នន័យ pre-training ។ លោក E. ម៉ូដែលធ្វើឱ្យប្រសើរឡើងតាមរយៈការកើនឡើងតាមរយៈការកើនឡើងតាមរយៈការកើនឡើងតាមរយៈទំហំគំនិតនៅក្នុងទិន្នន័យ pre-training ។ ការស្រាវជ្រាវរបស់យើងបង្ហាញថាការអនុវត្តអាកាសធាតុដ៏អស្ចារ្យនៃម៉ូឌុលជាច្រើនដូចជា CLIP និង Stable Diffusion អាចត្រូវបានអនុញ្ញាតឱ្យមានគំនិតការធ្វើតេស្តនៅក្នុងកំណត់ទំហំទូលំទូលាយនៃទិន្នន័យមុនពេលធ្វើតេស្តរបស់ពួកគេ, ដូច្នេះការអនុវត្តអាកាសធាតុដែលបានបង្ហាញរបស់ពួកគេមិនមែនជាការបង្កើនប្រសិទ្ធិភាពនៃការ "កាត់បន្ថយ" ។ ដូច្នេះទូទាំងម៉ូឌុលទាំងនេះត្រូវការទិន្នន័យជាច្រើនអំពីគំនិតមួយដើម្បីបង្កើនការអនុវត្តរបស់ពួកគេតាមរយៈការធ្វើតេស្តដែលទាក់ទងនឹងគំនិតនេះ, ការបង្ហាញពីការមិនមានប្រសិទ្ធិភាពខ្ពស់នៃគំរូ។ ក្នុងការដោះស្រាយរបស់យើងយើងបង្ហាញពីការផ្លាស់ប្តូរនៃគំនិតដែលបានរកឃើញនៅក្នុងទិន្នន័យ pre-training និងរកឃើញថា: ក្នុងចំណោមទិន្នន័យបណ្តុះបណ្តាលទាំងអស់ការផ្គត់ផ្គង់គំនិតគឺមានកម្រិតខ្ពស់ (មើលរូបថត 5 នៅក្នុងផ្នែក 5), ដែលបង្ហាញថាគំនិតមួយចំនួនជាច្រើនគឺជាធម្មតា។ ទោះជាយ៉ាងណាក៏ដោយដោយដោយសារតែការប្រសិនបើគំរូមិនមានប្រសិទ្ធិភាពយ៉ាងធម្មតាបានមើលឃើញ, អ្វីដែលជាធម្មតាមិនត្រូវបានរៀនយ៉ាងត្រឹមត្រូវនៅក្នុងការបណ្តុះបណ្តាលបណ្តុះបណ្តាល multimodal ។ • Concept Distribution: ការផ្លាស់ប្តូរនៃគំនិតនៅលើប្រព័ន្ធទិន្នន័យបណ្តុះបណ្តាលផ្សេងគ្នានៃការបណ្តុះបណ្តាលផ្សេងគ្នានៃការបណ្តុះបណ្តាលផ្សេងគ្នានៃការបណ្តុះបណ្តាលផ្សេងគ្នានៃការបណ្តុះបណ្តាលផ្សេងគ្នានៃការបណ្តុះបណ្តាលផ្សេងគ្នានៃការបណ្តុះបណ្តាលផ្សេងគ្នានៃការបណ្តុះបណ្តាលផ្សេងគ្នានៃការបណ្តុះបណ្តាលផ្សេងគ្នានៃការបណ្តុះបណ្តាលផ្សេងគ្នានៃការបណ្តុះបណ្តាលផ្សេងគ្នានៃការបណ្តុះបណ្តាលផ្សេងគ្នានៃការបណ្តុះបណ្តាល។ • Concept Correlation across Pretraining Datasets: គំនិតជាច្រើនបានបង្ហាញនៅក្នុងប្រភេទមួយប៉ុន្តែមិនមានប្រភេទផ្សេងទៀត, ដែលមានន័យថាមានការបាត់បន្ថយសំខាន់ (មើលប្រភេទ 3 នៅក្នុងផ្នែក 5). ការបាត់បន្ថយទិន្នន័យដែលយើងបានបង្ហាញអាចជួយការបាត់បន្ថយការបាត់បន្ថយរូបភាពនិងសៀវភៅដោយធ្វើឱ្យប្រសិនបើការបាត់បន្ថយការបាត់បន្ថយការបាត់បន្ថយការបាត់បន្ថយការបាត់បន្ថយការបាត់បន្ថយការបាត់បន្ថយការបាត់បន្ថយការបាត់បន្ថយការបាត់បន្ថយការបាត់បន្ថយការបាត់បន្ថយការបាត់បន្ថយការបាត់បន្ថយ។ • Image-Text Misalignment between Concepts in Pretraining Data: ដើម្បីផ្តល់នូវគោលបំណងយ៉ាងងាយស្រួលសម្រាប់សម្តែងការបង្កើនប្រសិទ្ធិភាពសម្រាប់ម៉ូដែលធម្មតាដែលគ្រប់គ្រងទំហំគំនិតនៅក្នុងកំណត់បណ្តុះបណ្តាលយើងបានបង្ហាញនូវទិន្នន័យបណ្តុះបណ្តាលកម្រិតខ្ពស់ថ្មីដែលត្រូវបានគេហៅថា ម៉ូដែលបច្ចុប្បន្នដែលបានបណ្តុះបណ្តាលលើទិន្នន័យទាំងពីរដែលអាចរកបានដោយឥតគិតថ្លៃ (ឧទាហរណ៍ LAION-2B [103], DataComp-1B [46]) និងទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យ (ឧទាហរណ៍ OpenAI-WIT [91], WebLI [29]) មានការកាត់បន្ថយសំខាន់ក្នុងការអនុវត្ត, ការផ្តល់នូវការបង្ហាញថាមានការបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះ «សូមបាត់បង់! » Mayilvahanan et al. [79] បានបង្ហាញថាការអនុវត្តរបស់ CLIP ត្រូវបានប្រៀបធៀបជាមួយនឹងការប្រៀបធៀបរវាងការបណ្តុះបណ្តាលនិងទិន្នន័យការធ្វើតេស្ត។ នៅក្នុងការសិក្សាផ្សេងទៀតអំពីតំបន់ពិសេសដូចជាការបណ្តុះបណ្តាល [62] និងការគោលបំណងទូទៅ [94] នៅក្នុងម៉ូដែលភាសាធំ, ការប្រៀបធៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរវាងការបណ្តុះបណ្តាលនិងទិន្នន័យការធ្វើតេស្ត។ [127] ការប្រៀបធៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀប សៀវភៅនេះអាចរកបាននៅលើ archiv នៅក្រោមការអនុញ្ញាត CC BY 4.0 DEED ។ សៀវភៅនេះគឺ វាត្រូវបានអនុញ្ញាតដោយ CC BY 4.0 DEED ។ អាសយដ្ឋាន Archive អាសយដ្ឋាន Archive [1] ប្រភេទប្រភេទប្រភេទសម្រាប់ប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទប្រភេទ